クラスメソッド データアナリティクス通信(機械学習編) – 2024年10月号

クラスメソッド データアナリティクス通信(機械学習編) – 2024年10月号

2024年9月分のAWSおよびGoogle Cloudの機械学習関連サービスのアップデート情報をお届けします。
Clock Icon2024.10.17

データ事業本部 インテグレーション部 機械学習チームの鈴木です。
クラスメソッド データアナリティクス通信(機械学習編) の2024年10月号です。2024年9月分のアップデート情報をお届けできればと思います。

はじめに

AWSでは、個人的にはStudioでアイドル状態のアプリケーションの自動シャットダウンが嬉しいアップデートでした。ついインスタンスを消し忘れてしまい、課金が続いてしまうというケースはしばしばあり、それを防ぐための仕組みを作っていたりするので、ネイティブの機能でサポートされるのはとても良いですね。MLFlowのPrivateLinkのサポートも、よりMLFlowの機能を導入しやすくなります。

Google Cloudでは、Gemini 1.5の002バージョンの一般提供開始が大きなニュースだと思います。また、レスポンスの形式を指定できる機能がGemini 1.5 Flashでサポートされ、レスポンスの処理がしやすくなったのも重要なアップデートではないでしょうか。

それでは各々のアップデートを振り返って行ければと思います。

※ アップデートは機械学習チームメンバー内で業務に取り入れられそうかを中心に確認しているので、一部取り上げられていないものもあるかもしれませんが、参考になりましたら幸いです。また、複数のパブリッククラウドのサービスを取り上げますが、比べたりする意図はありません。

AWSのアップデート

Amazon SageMakerのアップデート

SageMaker HyperPodがAmazon EKSをサポート

HyperPodでAmazon EKSサポートが一般提供され、KubernetesによるMLワークフローの実行ができるようになりました。

https://aws.amazon.com/jp/about-aws/whats-new/2024/09/amazon-eks-sagemaker-hyperpod-scale-foundation-model-development/

SageMaker Inferenceのスティッキーセッションルーティングが利用可能に

SageMaker Inferenceでスティッキーセッションルーティングが利用できます。最初のリクエストでセッションIDを作成することで、そのセッションIDを使用してSageMakerが以降のすべてのリクエストを同じインスタンスにルーティングすることができます。

https://aws.amazon.com/jp/about-aws/whats-new/2024/09/sticky-session-routing-amazon-sagemaker-inference/

SageMaker Studioでアイドル状態のアプリケーションの自動シャットダウンをサポート

非アクティブ状態が一定期間続いたアプリケーションを自動シャットダウンするようになりました。Amazon SageMaker Distributionイメージバージョン2.0以降を使用するJupyterLabとCodeEditorアプリケーションが対象で、管理者はアイドルシャットダウン時間を設定する必要があります。

https://aws.amazon.com/jp/about-aws/whats-new/2024/09/amazon-sagemaker-studio-automatic-shutdown-idle-applications/

Llama 3.2モデルをJumpStartで利用可能に

Llama 3.2モデルをJumpStartで利用可能になりました。

https://aws.amazon.com/jp/about-aws/whats-new/2024/09/llama-32-generative-ai-models-sagemaker-jumpstart/

SageMakerのMLFlowがPrivateLinkをサポート

SageMakerのMLFlowで、PrivateLinkをサポートしました。これにより、MLflowとの通信がAWS ネットワーク内で行われるため、より安全に利用できます。

https://aws.amazon.com/jp/about-aws/whats-new/2024/09/amazon-sagemaker-mlflow-privatelink-secure-traffic-routing/

モデルデプロイ時のソフトウェアとドライバーのバージョンを選択できるように

SageMakerにモデルをデプロイする際に、NVIDIAドライバーやCUDAバージョンなどの組み合わせを選択できるようになりました。

https://aws.amazon.com/jp/about-aws/whats-new/2024/09/amazon-sagemaker-model-deployment-software-driver-versions/

APIのアップデート

上記で紹介したもの以外には、EFSのユーザーホームフォルダをStudio Spacesに自動的にマウントするようになったものと、SageMaker APIにアトリビュートの追加がありました。

Amazon Bedrockのアップデート

エージェントでClaude 3.5が利用可能に

Bedrock のエージェントでClaude 3.5が利用可能になりました。バージニア北部、オレゴン、フランクフルト、東京、シンガポールが対象です。

https://aws.amazon.com/jp/about-aws/whats-new/2024/09/bedrock-agents-sonnet-3-5/

ナレッジベースがクロスリージョン推論のサポート

クロスリージョン推論のサポートが発表されました。RetrieveAndGenerate APIを利用する際に、複数のリージョン間でトラフィックが動的にルーティングされるようです。どちらかというと、トラフィックが多い場合に別リージョンのリソースを使うのがメインの用途のようです。

https://aws.amazon.com/jp/about-aws/whats-new/2024/09/amazon-bedrock-knowledge-bases-cross-region-inference/

Llama 3.2 生成 AI モデルが利用可能に

オレゴンでMetaのLlama 3.2 90Bと11Bモデルが利用できるようになりました。

https://aws.amazon.com/jp/about-aws/whats-new/2024/09/llama-3-2-generative-ai-models-amazon-bedrock/

APIのアップデート

PromptVariantがユーザーメタデータをサポートしました。

Google Cloudのアップデート

Vertex AIのアップデート

Rayクラスターが自動スケーリング機能をサポート

Rayクラスターが自動スケーリング機能をサポートしました。

https://cloud.google.com/vertex-ai/docs/open-source/ray-on-vertex-ai/scale-clusters#autoscaling

カスタムトレーニングと予測ジョブ向けにVMの予約がプレビュー提供

A2およびA3マシンシリーズでカスタムトレーニングと予測ジョブ向けにVMの予約がプレビューでサポートされました。

https://cloud.google.com/vertex-ai/docs/training/use-reservations
https://cloud.google.com/vertex-ai/docs/predictions/use-reservations

カスタムトレーニングと予測ジョブ向けにスポットVMの利用をサポート

スポットVMを使って実行コストを削減できる機能がプレビューで提供されました。

https://cloud.google.com/vertex-ai/docs/training/use-spot-vms
https://cloud.google.com/vertex-ai/docs/predictions/use-spot-vms

Generative AI on Vertex AIのアップデート

Gen AI Evaluation ServiceがGA

生成AIモデルおよびアプリケーションを評価するためのGen AI Evaluation Serviceが一般提供を開始しました。

https://cloud.google.com/vertex-ai/generative-ai/docs/models/evaluation-overview

Gemini 1.5 Flashが生成された出力を制御する機能をサポート

Gemini 1.5 Flashで生成された出力を制御する機能をサポートされるようになりました。

https://cloud.google.com/vertex-ai/generative-ai/docs/multimodal/control-generated-output

これにより、レスポンスのスキーマを指定し、後続の処理で期待する特定の形式に準拠させることができます。

Gemini 1.5の新しい安定版が一般提供開始

Gemini 1.5 Pro (gemini-1.5-pro-002)とGemini 1.5 Flash (gemini-1.5-flash-002)が一般提供開始しました。

001バージョンに比べて幅広い観点で品質改善がされているようです。

詳細はModel versions and lifecycleのModel version highlightsをご確認ください。

https://cloud.google.com/vertex-ai/generative-ai/docs/learn/model-versions

Model Gardenの組織ポリシーで利用できるモデルと機能を制限できるように

組織・フォルダ・プロジェクトレベルでポリシーを定義し、承認済みのモデルにのみアクセスできるようにすることができます。

https://cloud.google.com/vertex-ai/generative-ai/docs/control-model-access

generateContent APIおよびstreamGenerateContent APIの呼び出しにラベルを追加できるように

generateContent APIおよびstreamGenerateContent APIの呼び出しにラベルというメタデータを追加することで、ラベルに基づいて呼び出しをフィルタリングできるようになりました。

https://cloud.google.com/vertex-ai/generative-ai/docs/multimodal/add-labels-to-api-calls

Llama 3.2 90Bモデルがプレビューで利用可能に

Llama 3.2 90Bモデルがプレビューで利用可能になりました。

Vertex AI Agent Builderのアップデート

パブリックプレビューで自然言語によるクエリのフィルタをサポート

自然言語から検索クエリのフィルターを自動的に作成し、返される結果の品質を向上させられるようになりました。
例えばFind a coffee shop serving banana breadという自然言語のフィルタを設定できるようになりました。

https://cloud.google.com/generative-ai-app-builder/docs/natural-language-queries

RAG向けのranking APIのアップグレード

Vertex AI Agent BuilderでRAGを実施する際にできるクエリに基づいたドキュメントセットのランク付けについてアップデートされました。

上位にランクされる文書の関連性が大幅に改善されるようです。

https://cloud.google.com/generative-ai-app-builder/docs/ranking

Vertex AI SearchでFirestoreとCloud SQLからデータをインポートする機能がGA

Vertex AI SearchでFirestoreとCloud SQLからデータをインポートする機能がGAになりました。

https://cloud.google.com/generative-ai-app-builder/docs/create-data-store-es#firestore
https://cloud.google.com/generative-ai-app-builder/docs/create-data-store-es#cloud-sql

Vertex AI Agent Builder: Redirection URI for grounded results (GA)

Google検索によるグラウンディングで、グラウンディングに使用したURLに誘導するリダイレクトURLを結果に含む機能が一般提供開始しました。

リダイレクトURLは最大30日間アクセス可能です。

https://cloud.google.com/generative-ai-app-builder/docs/grounded-gen

BigQuery ML

エンべディングのための機能を強化

ML.GENERATE_EMBEDDINGで以下の機能をサポートするようになりました。

  • LLMによるマルチモーダルなエンべディング
  • 主成分分析またはオートエンコーダーでのエンべディング
  • Matrix Factorizationでのエンべディング

イベント・サービス情報

相談会

クラスメソッドのアナリティクス分野の支援では、AWS、Google Cloudを中心としたクラウド上でのデータ分析基盤環境づくりにおいてトータルでサポートしています。

このようなことでお困りではないですか?相談会にお気軽にご相談ください。

  • 企業内に点在するデータを1箇所にまとめて分析したい
  • クラウド上で分析基盤を導入したい・・・
  • データを活用したいが、具体的に何から始めたらいいかわからない

機械学習相談会のお申込みはこちらです。

https://classmethod.jp/seminar/machine-learning-consultation/?utm_source=dev.classmethod.jp

データ分析相談会のお申込みはこちらです。

https://classmethod.jp/seminar/dataanalysis-consultation/?inquiry_page=https://classmethod.jp/seminar/dataanalysis-consultation/

機械学習システム導入支援サービスについて

AWSやGoogle Cloudなどパブリッククラウドにて、機械学習サービスを活用したシステムの導入支援を行います。詳しくは以下のページをご覧ください。

https://classmethod.jp/services/machine-learning/?inquiry_page=https://classmethod.jp/services/machine-learning/

例えば以下のようなケースをご支援しています。

  • ECサイトのレコメンドシステムを構築し、利用者にパーソナライズされたおすすめ商品を提示する
  • SNSや問い合わせのログなどから、テキストマイニングを活用したインサイトの発見する
  • 画像解析により、工場における不良品検出や農業・畜産業分野での生育管理を効率化する
  • 売上や消費者の行動などから、将来の需要を予測する

最後に

2024年9月に発表された、AWSとGoogle CloudのML機能のアップデートについて、メンバーでピックアップした情報についてご紹介しました。

データアナリティクス通信(機械学習編) - 2024年10月号は以上です。

Share this article

facebook logohatena logotwitter logo

© Classmethod, Inc. All rights reserved.